contrastive cluster
- acc作为评测指标,是否可以参与到聚类中?(cc这篇文章加入了防坍塌架构,是否可以用acc等指标加大坍塌来使得结果变得更好?)#奇思妙想
collapsed:: true
- 问题背景:传统深度聚类需要两步:第一步,生成enconder,第二部,利用kmeans等聚类。这样会导致难以平衡第一步与第二步
- 问题解决:和swav一样,把聚类和提取特征融合到一起,即将提取出的特征通过一个mlp映射到对应的类上。举例:假设聚类中心数为100
- 1*128经过一个128*100得到一个1*100的新的提取的特征,这就可以理解为对应的类别
- 那么,常规对比学习,实例级别
- $red此次对比学习:创新点
- 加了一个类间对比学习,如下图(起源自swav,感觉和就是swav上加了一丢丢创新~~)
- 注意点:cluster-level contrastive head最后一层是softmax层
- 对比损失:
- 实例级别对比:
- 类级别对比:
- ()
- 其中(1)式子是防止模型坍塌,可不可以在HY的基础上创新
- 第三周